Lahir dan dibesarkan di Idutywa (Transkei), apa yang dipanggil sebagai provinsi Eastern Cape Afrika Selatan, Mbeki merupakan satu daripada empat anak Epainette dan Govan Mbeki. Bapanya merupakan seorang penyokong kuat parti Kongres Kebangsaan Afrika (ANC) dan Parti Komunis Afrika Selatan. Bahasa ibunda beliau ialah bahasa Xhosa. Ibubapanya merupakan guru dan aktivis di kawasan kekuatan ANC, dan Mbeki menggambarkan dirinya sebagai "lahir ke dalam pertelagahan"; satu potret Karl Marx duduk di dalam gambar keluarga, dan satu potret Mohandas Gandhi tergantung di dinding.[6]

Mbeki belajar di sekolah rendah di Idutywa dan Butterworth dan mendapat pendidikan persekolahan tinggi di Lovedale, Alice. Dalam tahun 1959, beliau telah dikeluarkan dari sekolah disebabkan dan dipaksa untuk belajar di rumah. Dalam tahun yang sama, beliau menduduki peperiksaan matrikulasi di Sekolah Tinggi St. John, Umata. Dalam tahun-tahun pengajian, beliau melengkapkan peperiksaan "A" level dan mengambil sarjana ekonomi sebagai pelajar luar dengan University of London. Semasa zaman ini, ANC telah dibatalkan dan Mbeki telah terlibat dengan aktiviti bawah tanah di kawasan Pretoria-Witwatersrand. Beliau juga terlibat dalam menggerakkan pelajar dalam menyokong seruan ANC supaya duduk di rumah sebagai satu protes menentang pembentukan satu republik.